物体|尺度_对于ssd对小目标检测效果的思考

对于ssd模型对于小目标检测效果不好的问题&＃xff0c;我认为可以结合.prototxt文件进行分析&＃xff0c;以conv4_3_norm_mbox_priorbox为例&＃xff1a;

prior_box_param
min_size: 30.0
max_size: 60.0
aspect_ratio: 2
flip: true
clip: false
variance: 0.1
variance: 0.1
variance: 0.2
variance: 0.2
step: 8
offset: 0.5


其中min_size比较明确为30pixel&＃xff0c;若以IOU 0.5为例&＃xff0c;则原物体大小至少为21.21pixel&＃xff0c;才能与原物体有0.5以上的IOU。也因此小于21pixel的物体&＃xff0c;ssd无法检测。因为没有办法生成anchor。针对这个问题其实可以通过min_size与step的方式进行解决。

但仅生成anchor还不够&＃xff0c;若要检测小物体&＃xff0c;既需要一张足够大的featuremap来提供更加精细的特征和做更加密集的采样&＃xff0c;同时也需要足够的semantic meaning来与背景区分开。当前conv4_3_norm_mbox_priorbox一方面featuremap不够大&＃xff0c;特征信息不够&＃xff0c;另一方面conv4_3_norm_mbox_priorbox属于比较靠近输入的卷积层&＃xff0c;semantic信息同时不够。以上两方面的原因都造成了conv4_3_norm_mbox_priorbox无法用于检测小目标。

但对于conv9_2_mbox_priorbox层&＃xff1a;

prior_box_param
min_size: 264.0
max_size: 315.0
aspect_ratio: 2
flip: true
clip: false
variance: 0.1
variance: 0.1
variance: 0.2
variance: 0.2
step: 300
offset: 0.5


最小的框是264pixel&＃xff0c;同理最小物体的尺寸是186.67pixel&＃xff0c;conv9_2_mbox_priorbox包含语义信息较多&＃xff0c;但可以检测的最小物体过大&＃xff0c;也造成了conv9_2_mbox_priorbox无法用于检测小目标。

针对既要较大的featuremap&＃xff0c;又要较为丰富的语义信息的问题&＃xff0c;FPN、retinanet、yolov3等采用的方法比较一致&＃xff0c;使用较小的featuremap通过upsample操作与较大的featuremap concat在一起&＃xff0c;即保留了深层featuremap的语义信息&＃xff0c;又利用了浅层featuremap较为精细的特征。yolov2同样使用了多尺度特征融合。

除了多尺度特征融合之外&＃xff0c;还可以采用的另一个思路是detnet。使用专门的目标检测主干网络&＃xff0c;代替当前针对分类任务的主干网络。针对分类任务的主干网络有以下问题&＃xff1a;当前主干网络基于较大的降采样因子产生较大的感受野&＃xff0c;较大的感受野对分类任务有利。&＃xff08;Traditional backbone produces higher receptive field based on large downsampling factor, which is beneficial to the visual classification&＃xff09;然而以上做法造成了空间分辨率的让步&＃xff0c;这造成了大目标的定位不准确与小目标的识别困难&＃xff08;However, the spatial resolution is compromised which will fail to accurately localize the large objects and recognize the small objects.&＃xff09;

其核心思想是空洞瓶颈结构&＃xff08;dilated bottleneck structure&＃xff09;&＃xff0c;总结起来就是一句话&＃xff1a;DetNet不仅保持较高分辨率的特征图&＃xff0c;同时具有较大的感受野。&＃xff08;DetNet not only maintains high resolution feature maps but also keeps large receptive field&＃xff09;

论文中认为FPN在较深的层次生成并预测较大的物体&＃xff0c;上述物体的边界可能会过于模糊以致于不能准确的回归。&＃xff08;large object is generated and predicted within deeper layers, the boundary of these object may be too blurry to get an accurate regression&＃xff09;。较大的步长的另一个缺点是小物体的丢失。&＃xff08;Another drawback of large stride is the missing of small objects.&＃xff09;

PS&＃xff1a;FPN使用P2-P6层&＃xff0c;retinanet使用P3-P7层。在retinanet中anchor与gt的IOU大于0.5为正样本&＃xff0c;小于0.4为背景&＃xff0c;大于0.4小于0.5的在训练过程中忽略。FPN仍然使用与faster-rcnn相同的原则&＃xff0c;与某个gt有最高的IOU&＃xff0c;或者与任何gt的IOU大于0.7&＃xff0c;则认为是正样本&＃xff0c;与任何gt IOU都小于0.3&＃xff0c;则认为是负样本。

最后回到核心内容上来&＃xff0c;detnet的实现就是将resnet中原来的3*3卷积换成3*3&＃xff0c;dilate为2的空洞卷积&＃xff0c;网络结构见下图&＃xff1a;

参考&＃xff1a;

https://www.zhihu.com/question/49455386

https://github.com/eric612/MobileNet-SSD-windows/blob/master/models/VGGNet/VOC0712/SSD_300x300/train.prototxt

以上是关于对于ssd对小目标检测效果的思考的主要内容，如果未能解决你的问题，请参考以下文章

基于改进SSD的车辆小目标检测方法

one-shot 检测算法YOLOSSD

详细解读目标检测经典算法-SSD

检测算法简介及其原理——fast R-CNN，faster R-CNN，YOLO，SSD，YOLOv2，YOLOv3

Single Shot Multibox Detection (SSD)实战（上）

R-CNN，faster R-CNN，yolo，SSD，yoloV2，yoloV3